SearchHorizonBench: A Benchmark for Search Value in AI Agents
SearchHorizonBench：AI Agent 搜索价值评估基准
🧭 Agent 搜索价值评估基准
Carnegie Mellon University
通过配对延续与重复执行构建搜索价值评估基准，分离搜索增益与生成噪声
📌 工作参考价值（4 点）
- 将搜索/工具调用决策显式建模为成本-收益问题，用历史执行数据校准“搜索增益”，可迁移到电商导购 Agent 的检索决策：何时检索商品库、用户画像、知识库，何时直接生成回答。
- 配对延续（paired continuations）与重复执行能分离期望增益与生成噪声，可用于离线评测或线上 AB 实验，更干净地评估 RAG、工具调用、召回策略的增量价值。
- 关键结论：只预测成功率不够，必须直接预测增益。搜索增益方差达 21.4 个百分点，而历史估计器只能解释不到 2%，说明在推荐/搜索系统中评估“召回/重排/生成”环节时，应直接建模增量收益，而非绝对成功率。
- 开源冻结 split 与评分工具可作为训练 value-aware agent 策略的基础，例如在多轮购物助手中决定是否调用价格查询、库存查询、评论总结等工具，优化用户效用与 token 成本。